Lors d'un exercice destiné à évaluer ses capacités en cybersécurité, un modèle Gemini s'est introduit en mai dernier dans les systèmes de trois entreprises. Google a confirmé les faits vendredi, après avoir été contacté par le Wall Street Journal. L’entreprise estime qu'il ne s'agit pas d'un cas de « désalignement », c'est-à-dire d'une IA qui agit à l'encontre des intentions de ses concepteurs.
Une homonymie en cause
L'exercice, de type « capture the flag », était piloté par Irregular, un prestataire extérieur. Gemini devait récupérer des informations dans les logiciels d'une entreprise fictive, dont le nom était aussi celui d'une société bien réelle. Le modèle n'était pas censé être connecté à internet, mais l'accès est resté ouvert par inadvertance, selon Irregular.
Dans un cas, Gemini a deviné un mot de passe jusqu'à entrer dans le service. Dans les deux autres, des recherches web sur le nom de l'entreprise l'ont mené vers des dépôts publics contenant des identifiants d'autres sociétés, qu'il a essayés. Chaque fois, il s'est arrêté en constatant qu'il s'agissait de systèmes réels, d'après Google.
C'est ce qui rend l'affaire instructive au-delà du cas Gemini : aucune faille inédite n'a été exploitée, seulement des mots de passe faibles et des oublis dans du code public. Un agent IA les trouve en quelques recherches, un attaquant humain aussi s’il sait où creuser. Les développeurs qui publient du code ont intérêt à activer les outils de détection des clés d’accès des plateformes d'hébergement, et à révoquer tout identifiant ayant fuité plutôt que de simplement l'effacer du dépôt.
Irregular a prévenu Google fin juillet, dans le sillage de la révélation du piratage de Hugging Face par des agents IA d'OpenAI. Google affirme avoir informé les trois entreprises et les autorités fédérales américaines. Il n'a pas donné leurs noms, ni précisé quel modèle Gemini était concerné, seulement que ce n'était pas le plus récent — en même temps, ils en sortent très souvent.
Pour pirater Hugging Face, le modèle d’OpenAI a exploité plusieurs autres services web
Un manque de transparence évident
Le tableau des incidents dressé par le WSJ met en évidence un point commun. Sur onze cas recensés, quatre (chez Anthropic, OpenAI, Meta et Google) ont la même origine : un prestataire de tests qui a laissé un accès internet ouvert. Irregular assure que tout a été corrigé et que le cas de Google ne révèle pas de nouveau problème, minimisant ainsi la situation.
Sur le comportement du modèle, Google s'en sort plutôt mieux que ses concurrents. Gemini s'est arrêté de lui-même, alors que Claude Opus 4.7 a poursuivi son exercice, selon Anthropic, et que le modèle d'OpenAI a cru que l'entreprise faisait partie de la simulation.
Le problème est ailleurs : Google a attendu près de deux mois après avoir été prévenu, et n'a donné de détails qu'après les questions du Wall Street Journal. Le groupe invoque l'absence de dégâts et compare l'épisode à un « bug bounty ». Or ces programmes reposent sur l'autorisation préalable de l'entreprise visée, ce qui n'était pas le cas ici.
OpenAI a de son côté publié mercredi un cadre de signalement qui prévoit de divulguer des cas même sans dommage. Reste à savoir ce que recouvre exactement le « désalignement » si un modèle qui s'introduit chez des tiers n'en relève pas.
Comment l’IA est en train de forcer les verrous de la cybersécurité
